Amazon Omics Analytics の Annotaion Store へファイルインポートに失敗したときの切り分け方法

Amazon Omics の Annotation Store へインポート失敗時の切り分け方法を紹介します

#Amazon Omics

#Omics Analytics

#Bioinformatics

#AWS

大村保貴

2023.02.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Omics Analytics の Annotaion Store へファイルインポート（保存）に失敗しました。マネージメントコンソールに表示されるエラーメッセージからは原因がわかりません。切り分けするにはどうしたらよいですか？

Failed to import 1 file.

インポート失敗時のマネージメントコンソールの様子

対応方法

AWS CLI からインポートに失敗したジョブ ID を確認すると原因の特定に繋がるメッセージを確認できます。

ジョブ ID の確認方法

マネージメントコンソールから確認するのがお手軽です。

エラーメッセージ確認コマンド

aws omics get-annotation-import-job --job-id [JOBID]

statusMessageの項目から原因切り分けに使える情報を取得できます。

{
    "creationTime": "2023-02-08T01:58:36.125416+00:00",
    "destinationName": "drosophila_melanogaster_gff",
    "id": "03bb7adb-356e-4418-b48c-5fb3b3b4ca88",
    "items": [
        {
            "jobStatus": "FAILED",
            "source": "s3://omics-work/fruit-fly/GCF_000001215.4_Release_6_plus_ISO1_MT_genomic.gff"
        }
    ],
    "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsAnalyticsServiceRole",
    "runLeftNormalization": false,
    "status": "FAILED",
    "statusMessage": "Invalid file extension s3://omics-work/fruit-fly/GCF_000001215.4_Release_6_plus_ISO1_MT_genomic.gff, GFF file type must be .gff3. Valid compression formats are: .gz .gzip .bgz .bgzf .bgzip",
    "updateTime": "2023-02-08T01:59:14.284193+00:00"
}

インポートに失敗した

マネージメントコンソールから Annotation Store へ GFF ファイルのインポートを実行しました。実行後まもなくしてFailedとなりインポートに失敗しました。マネージメントコンソールから確認できる情報では S3 バケットに保存してあった GFF ファイルに問題があったのか、サービスロールの権限の問題なのか手がかりがありません。

AWS CLI から失敗したジョブを確認する

AWS CLI を使い失敗したジョブの情報を確認するとステータスメッセージを確認できます。

ジョブID の確認方法

マネージメントコンソールから確認する方が楽です。

AWS CLI から確認するときはステータスがFAILEDのジョブにフィルタする（--filter status=FAILED）ことをオススメします。

aws omics list-annotation-import-jobs --filter status=FAILED

ジョブ ID は id の項目です。ですが、失敗したジョブが複数あるとどのジョブなのか特定しづらいです。インポート先のストア名（destinationName）とインポートを実行した時間（updateTime）から判断することになります。

{
    "annotationImportJobs": [
        {
            "creationTime": "2023-02-08T01:58:36.125416+00:00",
            "destinationName": "drosophila_melanogaster_gff",
            "id": "03bb7adb-356e-4418-b48c-5fb3b3b4ca88",
            "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsAnalyticsServiceRole",
            "runLeftNormalization": false,
            "status": "FAILED",
            "updateTime": "2023-02-08T01:59:14.284193+00:00"
        },
        {
            "creationTime": "2023-02-03T08:22:25.345397+00:00",
            "destinationName": "pea_aphid_gff",
            "id": "1f08af64-b215-48ee-9a88-ace98d2a0748",
            "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsAnalyticsServiceRole",
            "runLeftNormalization": false,
            "status": "FAILED",
            "updateTime": "2023-02-03T08:23:37.234599+00:00"
        }
    ]
}

フィルタ設定にインポート先のストア名まで入力（--filter status=FAILED,storeName=hoge）すればより絞れますが、ストア名を入力するのは億劫です。

aws omics list-annotation-import-jobs --filter status=FAILED,storeName=drosophila_melanogaster_gff

{
    "annotationImportJobs": [
        {
            "creationTime": "2023-02-08T01:58:36.125416+00:00",
            "destinationName": "drosophila_melanogaster_gff",
            "id": "03bb7adb-356e-4418-b48c-5fb3b3b4ca88",
            "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsAnalyticsServiceRole",
            "runLeftNormalization": false,
            "status": "FAILED",
            "updateTime": "2023-02-08T01:59:14.284193+00:00"
        }
    ]
}

確認コマンドの実行方法

ジョブ ID を確認したらaws omics get-annotation-import-jobコマンドでジョブの結果を確認します。

$ aws omics get-annotation-import-job --job-id 03bb7adb-356e-4418-b48c-5fb3b3b4ca88

statusMessageの項目から原因切り分けに使える情報を得られます。

{
    "creationTime": "2023-02-08T01:58:36.125416+00:00",
    "destinationName": "drosophila_melanogaster_gff",
    "id": "03bb7adb-356e-4418-b48c-5fb3b3b4ca88",
    "items": [
        {
            "jobStatus": "FAILED",
            "source": "s3://omics-work/fruit-fly/GCF_000001215.4_Release_6_plus_ISO1_MT_genomic.gff"
        }
    ],
    "roleArn": "arn:aws:iam::123456789012:role/service-role/OmicsAnalyticsServiceRole",
    "runLeftNormalization": false,
    "status": "FAILED",
    "statusMessage": "Invalid file extension s3://omics-work/fruit-fly/GCF_000001215.4_Release_6_plus_ISO1_MT_genomic.gff, GFF file type must be .gff3. Valid compression formats are: .gz .gzip .bgz .bgzf .bgzip",
    "updateTime": "2023-02-08T01:59:14.284193+00:00"
}

この件のインポート失敗の原因は S3 に保存したファイルに問題があった様です。エラー対応については別途紹介したいと思います。

"statusMessage": "Invalid file extension s3://omics-work/fruit-fly/GCF_000001215.4_Release_6_plus_ISO1_MT_genomic.gff, GFF file type must be .gff3. Valid compression formats are: .gz .gzip .bgz .bgzf .bgzip",